________СТАТИСТИЧЕСКИЕ МЕТОДЫ ОЦЕНКИ И ПРОВЕРКИ ГИПОТЕЗ___
2015			Пермский государственный университет		          Вып.26

УДК 519.2
Ядерные оценки плотности в пространствах произвольной природы

А.И. Орлов 

Московский государственный технический университет им. Н.Э. Баумана, Институт высоких статистических технологий и эконометрики; Московский физико-технический институт; Москва, Россия; Центральный научно-исследовательский институт машиностроения; г. Королёв Московской обл., Россия; prof-orlov@mail.ru; http://orlovs.pp.ru; +7(916)8305117; 123104, Москва, Сытинский пер., д.7/14, кв.14.

Аннотация. Изучение линейных оценки плотности распределения вероятностей в пространствах произвольной природы начато в статье автора в предыдущем вып.25. Частный случай таких оценок - ядерные оценки плотности. Настоящая статья посвящена основам общей теории ядерных оценок плотности. При различных условиях доказана состоятельность и асимптотическая нормальность ядерных оценок плотности, изучена равномерная сходимость. Найдена асимптотика дисперсии ядерной оценки плотности. Рассмотрены примеры, в том числе в пространстве интегрируемых с квадратом функций.
Ключевые слова: нечисловая статистика, плотность распределения вероятностей, пространства произвольной природы, линейные оценки плотности, ядерные оценки плотности, предельные теоремы, состоятельные оценки, асимптотическая нормальность, равномерная сходимость. 

1. Введение
	Оценки плотности распределения вероятностей в пространствах произвольной природы используют для решения различных задач нечисловой статистики [1], называемой также статистикой объектов нечисловой природы или статистикой нечисловых данных. Систематическое изложение теории таких оценок начато в статье [2], непосредственным продолжением которой является настоящая статья. Регулярно используются ссылки на условия и утверждения из статьи [2].
	Пусть (Z, A) – измеримое пространство, p и q – сигма-конечные меры на (Z, A), причем p абсолютно непрерывна относительно q, т.е. из q(B) = 0 следует p(B) = 0 для любого множества B из сигма-алгебры A. В этом случае на (Z, A) существует неотрицательная измеримая функция f(x) такая, что 
		(1)
для любого множества C из сигма-алгебры измеримых множеств A. Функция f(x) называется производной Радона - Никодима меры q по мере p, а в случае, когда q - вероятностная мера, также плотностью вероятности q по отношению к мере p [3, с.460].
	Пусть X1, X2 ,…, Xn – независимые одинаково распределенные случайные элементы (величины), распределение которых задается вероятностной мерой q. В статье [2] введено несколько видов непараметрических оценок плотности вероятности q по выборке X1, X2 ,…, Xn. Подробнее изучены линейные оценки. В настоящей статье рассмотрим их частные случаи – ядерные оценки плотности в пространствах произвольной природы.
2. Ядерные оценки плотности
	В предположении непрерывности неизвестной плотности f(x) представляется целесообразным «размазать» каждый атом эмпирической меры, т.е. рассмотреть линейные оценки, введенные в нашей первой работе по нечисловой статистике [4, с.24]:
		(2)
в которых действительнозначные функции gn удовлетворяют некоторым условиям регулярности, обсуждаемым ниже. Ядерные оценки плотности - это линейные оценки (2), в которых слагаемые имеют специальный вид.
	Пусть d – показатель различия (синоним - мера близости) на Z [1] (в наиболее важных частных случаях – метрика на Z). В докладе [5] нами введены ядерные оценки плотности – оценки вида (2) с
		(3)
где K = K(u) – ядро (ядерная функция), hn – последовательность положительных чисел (показателей размытости), b(hn, x) – нормировочный множитель. В статье [6] линейные оценки (2) с функциями gn из (3) названы «обобщенными оценками типа Парзена - Розенблатта», т.к. в частном случае Z = R1, d(x, Xi) = | x - Xi |, b(hn, x) = hn они переходят в известные оценки, введенные Розенблаттом [7] и Парзеном [8]. Поскольку Парзен и Розенблатт никогда не рассматривали оценки вида (2) для пространств произвольной природы, далее будем называть оценки (2) - (3) ядерными.
	Согласно [2] линейные оценки (2) удовлетворяют условию нормировки:
.			(4)
Из условия нормировки следует, что нормировочный множитель b(hn, x) имеет вид
		(5)
	Введем шар радиуса t с центром в точке x:
Lt(x) = {y: d(x, y) < t}				(6)
(в соответствии с замечанием после условия (IV) статьи [2] шар Lt(x) - измеримое множество, т.е. ). Зависимость меры шара от радиуса обозначим
.				(7)
Справедливо полезное для дальнейших рассуждений равенство
.		(8)
	Для ядерных оценок (3) рассмотрим условия (I) - (VII), введенные в статье [2] для линейных оценок. 
	С учетом (8) условие (I) переходит в следующее:
.			(9)
	При рассмотрении условия (VI) естественно принять, что для любой окрестности U(x) точки x найдется положительный радиус t > 0 такой, что шар Lt(x) содержится в U(x), т.е. топология в Z порождена системой шаров Lt(x), , t > 0. Тогда вместо (VI) получаем условие: 
		(10)
для любого t > 0.
	Замечание. Симметричность меры близости d, т.е. свойство d(x, y) = d(y, x), в настоящей статье не используется. Примером несимметричного показателя различия  является
.			(11)
	Имеем взамен условия (VII)
.		(12)
	Формулировки условий (II), (IV), (V) менять нет оснований. 
	Из теорем 1 и 2 статьи [2] вытекает следующее утверждение.
	Теорема 1. Пусть выполнены соотношения (5), (9), (10), а также условия (II), (IV), (V) статьи [2]. Тогда ядерная оценка плотности (2) - (3) является состоятельной, причем
. 		(13)
Если, кроме того, выполнено (12) и условия
, 	(14)
то fn(x) - состоятельная и асимптотически нормальная оценка плотности f в точке x.
	Для доказательства достаточно сослаться на результаты статьи [2] о линейных оценках и доказать соотношение (18) этой статьи, т.е. 
.			(15)
Имеем с учетом условия (II) статьи [2] 
,		(16)
откуда в соответствии с (14) следует (15). Теорема 1 доказана.
	Если ядерная функция K(u) является финитной, т.е. K(u) = 0 при u > u0, то значение оценки плотности fn(x) определяется только по элементам выборки Xi, для которых d(x, Xi) < u0hn. Поскольку предполагаем, что  при , то fn(x) определяется по сужающейся окрестности, а верхние пределы интегрирования в формулах (8) - (10), (12) можно заменить на u0hn. Поскольку  при , то соотношение (10) выполнено автоматически. Если K(u) - ограниченная функция, то (9) и (12) также выполнены. Вместо условия (II) статьи [2] достаточно ограниченности f в некоторой окрестности x, а это вытекает из непрерывности f. Согласно сказанному получаем следующую теорему.
	Теорема 2. Пусть K - ограниченная финитная функция,  при , справедливы условия (IV), (V) статьи [2] и следствие условия нормировки (5). Тогда выполнено (13). Если, кроме того, справедливы условия (14), то fn(x) - состоятельная и асимптотически нормальная оценка плотности f в точке x.
3. Предпочтительный показатель различия
	Чтобы продвинуться дальше, введем более сильное ограничение:
	(VIII) Функция Fx(t) - непрерывная функция по t.
	Это ограничение сильное, поскольку исключает распределения, имеющие атомы, в частности, все конечные пространства Z. (В дальнейших исследованиях мы рассмотрим последовательность конечных Z и заменим условие (VIII) на некоторую аппроксимацию.)
	Поскольку статистик может сам выбирать меру близости d, введем новый показатель (назовем его "предпочтительный показатель различия") 
d1(x, y) = Fx(d(x, y)). 			(17)
Тогда 
.	(18)
	Поскольку Fx(t) - непрерывная по t функция, то определена обратная функция 
.		(19)
она возрастает по , т.к. функция Fx(t) не убывает по t. Поэтому неравенство Fx(d(x, y)) < t эквивалентно неравенству . Тогда 
		(20)
по определению обратной функции. Чтобы не усложнять излишне изложение, несколько усилим условие (VIII).
	(VIII') Fx(t) - строго возрастающая непрерывная по t функция, причем Fx(0) = 0.
	Если выполнено условие (VIII'), то - тоже строго возрастающая функция, непрерывная на области своего определения, и . Если t входит в область определения функции , то 
.		(21)
	Если , то цепочка равенств (21) верна при любом t. Если же , то  при . Итак,
					(22)
	Пример 1. Пусть Z = Rk, d - евклидово расстояние, p - мера Лебега. Тогда Fx(t) не зависит от x и Fx(t) = F(t) = p{y: d(x, y) < t} = ck tk, где ck - объем шара единичного радиуса в Rk, естественный показатель различия имеет вид d1(x, y) = ck dk(x, y), поскольку
.		(23)
	Пример 2. При непараметрическом оценивании плотности в Rk часто используют ядра вида 
,				(24)
причем добавляют различные требования симметричности. В виде ядерных функций (3) такие ядра, как правило, представить нельзя, т.к. в (3)  - функция одного числового аргумента. Если  то функция K = K(d) постоянна на поверхности куба . Тогда 
F(t) = p{y: d(x, y) < t} = 2k tk,   d1(x, y) = 2k d k(x, y).		(25)
Поскольку для любого расстояния в Rk, полученного с помощью некоторой нормы в Rk, функция F(t) имеет порядок tk, то всегда d1 = Cd k, где С - константа. В Rk в качестве p обычно используют меру Лебега, хотя можно рассматривать, например, меру, порожденную нормально распределенным случайным вектором. При изучении скорости сходимости ядерных оценок можно увидеть некоторые преимущества меры Лебега [9]. 
4. Ядерные оценки плотности на основе предпочтительного показателя различия
	Далее будем использовать предпочтительный показатель различия. Пусть Fx(t) имеет вид (22). Рассмотрим сначала случай . С помощью замены переменных u = t/hn из (5) и (8) получаем, что 
.		(26)
Поскольку согласно (3) можно одновременно умножить ядерную функцию K и нормировочный множитель b на одну и ту же константу и b(hn, x)  0, то можно положить
.			(27)
Тогда 
b(hn, x) = hn			(28)
и 
.		(29)
Если же , то при справедливости (27) вместо (29) имеем 
.		(30)
Если ядерная функция K(u) финитна, то в силу  при достаточно большом n справедливы равенства (28) и (29).
	Соотношение (9) переходит в условие
.		(31)
Если неравенство (31 выполнено, то для любого t > 0 при 
,		(32)
поскольку . Следовательно, соотношение (10) выполнено.
	Справедливость условия (V) вытекает из (31). Далее, имеем
,		(33)
и (12) выполнено, если 
.			(34)
Если при этом  при , то выполнены условия (14). Подведем итоги проведенных рассуждений в виде теорем.
	Теорема 3. Пусть выполнены условия (VIII'), (27), (31), (34), условия (II) и (IV) статьи [2], причем  и  при . Тогда справедливы заключения теорем 1 и 2.
	Определение 1. Пусть X и Y - пространства с мерами близости  и  соответственно. Функция  называется равномерно непрерывной в X в смысле мер близости  и , если для любого  найдется  такое, что для любых x, x' таких, что , имеем .
	Теорема 4. Пусть выполнены условия теоремы 3 и, кроме того, плотность f равномерно непрерывна в Z в смысле меры близости d и евклидова расстояния в R1 (см. определение 1). Тогда
.			(35)
	Все условия теоремы 3 выполнены равномерно по Z, за исключением условия (IV) статьи [2]. Это условие используется при выборе окрестности точки x в доказательстве теоремы 1 той же статьи (см. формулу (10) статьи [2]). Равномерная непрерывность позволяет использовать окрестность одного и того же радиуса для всех , а это обеспечивает равномерность всех оценок, т.е. (35). 
5. Естественные меры близости
	Определение 2. Мера близости  в пространстве X называется естественной, если из  и  вытекает, что , а из  и  вытекает, что  при  для любых 
	Лемма 1. Пусть X счетно-компактно [10], топология в X порождена естественной мерой близости , в пространстве Y задана естественная мера близости , функция  непрерывна. Тогда функция f равномерно непрерывна.
	Доказательство. Предположим, что отображение f не является равномерно непрерывным. Это означает, что для некоторого  и каждого натурального n найдутся в Х такие точки  и , что 
.		(36)
Бесконечное подмножество  имеет хотя бы одну предельную точку. Значит, существуют точка  и последовательность n(k), k = 1, 2, ...., такие, что  при . Тогда в силу первого неравенства в (36) и определения естественной меры близости имеем . Из определения непрерывности f следует, что при 
,		(37)
а это в силу определения естественной меры близости несовместимо со вторым неравенством в (36). Лемма 1 доказана.
	Теорема 5. Пусть выполнены условия теоремы 3, пространство Z счетно-компактно, мера близости d является естественной (определение 2). Тогда справедливо соотношение (35).  
	Для доказательства достаточно сослаться на теорему 4 и лемму 1.
	Замечание. В теоремах 4 и 5 условие (VIII') предполагается выполненным при всех . Требовать, чтобы  и было справедливо (34), - нет необходимости.
6. Асимптотическое поведение дисперсий ядерных оценок плотности
	Теорема 6. Пусть выполнены условия теоремы 3. Тогда 
.		(38)
	Доказательство проводится по той же схеме, что и доказательство теоремы 1 в статье [2]. Согласно формуле (17) статьи [2] и (28) имеем 
. 		(39)
Возьмем . По условию (IV) статьи [2] найдется  такое, что 
			(40)
для всех  таких, что . Имеем для i = 1, 2
.	(41)
Второе слагаемое в (41) не превосходит в силу условий (II) статьи [2] и (VIII')
.		(42)
	Рассмотрим первое слагаемое в формуле (41). В силу (40)
	(43)
Кроме того, 
.		(44)
Из (43) и (44) вытекает, что 
	(45)
Из (41), (42) и (45) следует, что для i = 1, 2 справедливы оценки
.	(46)
(Заметим, что из неравенства (46) вытекает существование рассматриваемых математических ожиданий.) С помощью (39) и (46) получаем, что 
	(47)
(с учетом (27)). Выбирая  достаточно малым, а затем n достаточно большим, можно в силу (46), (27), (31) и (34) сделать  и  сколь угодно малыми, откуда и следует (38). Теорема 6 доказана.
	Теорема 7. Пусть выполнены условия теоремы 6 и, кроме того, плотность f равномерно непрерывна. Тогда 
.		(48)
	Следствие. В условиях теоремы 7 
.			(49)
	Теорема 8. Пусть выполнены условия теоремы 6, пространство Z счетно-компактно, мера близости d является естественной. Тогда справедливы соотношения (48) и (49).
	Доказательства теорем 7 и 8 аналогичны доказательствам теорем 4 и 5. Условие (VIII') предполагается выполненным при всех . 
7. Ядерные оценки плотности в пространстве интегрируемых с квадратом функций
	Пример 3. Пусть пространство Z - пространство интегрируемых с квадратом функций  таких, что g(0) = g(1) = 0. Пусть мера p порождается броуновским мостом - гауссовским процессом  на [0, 1] таким, что
, 		(50)
а мера q порождается процессом , где  - детерминированная функция, 
.			(51)
В (51)  - собственные функции ядра , т.е. функции (см. [11, с.248])
		(52)
соответствующие собственным числам 
			(53)
	Согласно теореме 2 на с.115 монографии [12] плотность q по p существует и имеет вид
		(54)
где А - корреляционный оператор процесса , , т.е.
.		(55)
Далее, 
, 		(56)
где
.		(57)
Значит,
, 			(58)
где
.		(59)
Поскольку
			(60)
при некотором C, то согласно (54), (58) и (60)
.		(61)
	Рассмотрим ядерные оценки плотности. Для плотности f(x), заданной формулой (61), условие (II) статьи [2] не выполнено - плотность не является ограниченной. Поэтому рассмотрим финитные ядра K(u) (см. теорему 2). В качестве меры близости рассмотрим
.			(62)
Ясно, что в топологии, порожденной , плотность f(x) непрерывна. Имеем:
.		(63)
В частности, при 
 - 		(64)
- функция распределения Колмогорова. Значит, можно сделать преобразование (17), перейдя к предпочтительному показателю различия.
	Если в качестве меры близости взять
,			(65)
то в топологии, порожденной , плотность f(x) непрерывна (в силу неравенства Коши - Буняковского - Шварца). Тогда 
.		(66)
При  имеем согласно [13, 14]
,		(67)
т.е.  есть функция распределения, асимптотическая для функции распределения статистики Крамера - Мизеса - Смирнова .
	В обоих случаях справедливы приведенные выше теоремы об асимптотическом поведении непараметрических оценок плотности. Естественно, что разные способы оценивания приводят к одному и тому же результату - значению плотности в рассматриваемой точке. 
	Рассмотрим подробнее оценивание плотности в точке . Тогда для предпочтительного показателя различия (см. (17)), построенного исходя из  (см. (62)):
,		(68)
а для предпочтительного показателя различия (см. (17)), построенного исходя из  (см. (65)):
,		(69)
где X1(t), X2(t), ..., Xn(t) - независимые реализации процесса . Если ядро K удовлетворяет условиям (27), (31), (34) и финитно,  и  при , то согласно теореме 3
		(70)
при , где C определено в (60).
	Пример 3 показывает, что развиваемая в настоящей статье теория применима, в частности, к функциональным пространствам Z и позволяет получать отдельные новые результаты для случайных процессов. Однако эта теория развита для нужд статистики объектов нечисловой природы (статистики нечисловых данных, нечисловой статистики), в которой основной интерес представляют конечные пространства Z. Для них приведенные выше результаты нельзя применять непосредственно, поскольку не выполнено условие (VIII'), функция Fx(t) - функция дискретного распределения (а не непрерывного), а потому "не проходят" доказательства теорем 3 - 8. Нами развита теория, охватывающая случай конечные пространства Z. Она будет изложена в дальнейших публикациях.

Библиографический список

1. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. 2009. – 541 с.
2. Орлов А.И. Оценки плотности в пространствах произвольной природы // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. / Перм. гос. нац. иссл. ун-т. – Пермь, 2013. – Вып. 25. – С.21-33.
3. Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю.В. Прохоров. – М.: Большая Российская Энциклопедия, 1999. – 910 с.
4. Орлов А.И. Статистика объектов нечисловой природы и экспертные оценки // Экспертные оценки / Вопросы кибернетики. Вып.58. – М.: Научный Совет АН СССР по комплексной проблеме «Кибернетика», 1979. – С.17-33.
5. Орлов А.И. Статистика объектов нечисловой природы // Теория вероятностей и ее применения. – 1980. – Т.XXV. – №3. – С.655-656. 
6. Орлов А.И. Непараметрические оценки плотности в топологических пространствах // Прикладная статистика. Ученые записки по статистике, т.45. – М.: Наука, 1983. – С. 12-40.
7. Rosenblatt M. Remarks on some nonparametric estimates of a density function // Ann. Math. Statist. – 1956. – V.27. – N 5. – P. 832 – 837.
8. Parzen E. On estimation of a probability density function and mode // Ann. Math. Statist. – 1962. – V.33. – N 6. – P. 1065-1076.
9. Орлов А.И. Ядерные оценки плотности в пространствах произвольной природы // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. / Перм. гос. нац. иссл. ун-т. – Пермь, 1996. – Вып. 11. – С.68-75.
10. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. - М.: Наука, 1972. - 496 с.
11. Гихман И.И., Скороход А.В. Введение в теорию случайных процессов. - М.Наука, 1965. - 656 с.
12. Скороход А.В. Интегрирование в гильбертовом пространстве. - М.: Наука, 1975. - 232 с.
13. Смирнов Н.В. О распределении  - критерия Мизеса // Математический сборник. - 1937. - Т.2. - Вып.1. - С. 973 - 993.
14. Орлов А.И. Скорость сходимости распределения статистики Мизеса - Смирнова // Теория вероятностей и ее применения. - 1974. - Т.19. - Вып.4. - С. 766 - 786.

Nuclear density estimates in spaces of arbitrary nature

A.I. Orlov 

Bauman Moscow State Technical University, Institute of high statistical technologies and econometrics; Moscow Physics-Technical Institute; Moscow, Russia; TsNIIMash; Korolev, Moscow Region, Russia; prof-orlov@mail.ru; http://orlovs.pp.ru; +7(916)8305117; 123104, Moscow, the Sytinsky lane, house 7/14, apartment 14.
7
Abstract. The study of linear estimates of the density of probability distribution in spaces of arbitrary nature is initiated by the author in the previous vyp.25. A special case of such estimates - nuclear density estimates. This article covers the basics of the general theory of kernel density estimates. Under different conditions are proved the consistency and asymptotic normality of kernel density estimates, is studied uniform convergence. Is found the asymptotic behavior of the variance of nuclear density estimates. Examples are considered, including in the space of square-integrable functions.

Key words: non-numeric statistics, probability density function, the space of an arbitrary nature, linear density estimates, nuclear density estimates, limit theorems, consistent estimates, asymptotic normality, uniform convergence.